AWS Batchでsubmitしたjobが起動されずCloudWatch Logsにも痕跡が無い

困っていた内容

2021-10-12T07:00:xx.xxx+09:00 に submit した AWS Batchのジョブ （Job ID: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx） が起動されず、CloudWatch Logs にも痕跡が無いようです。 原因と解決方法を教えてもらえますか？

• Job ID: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
• Batch ジョブキュー名: stg-v3-aaaa
• コンピューティング環境名: stg-v5-bbbb
• ジョブ定義名: arn:aws:batch:ap-northeast-1:[account_id]:job-definition/xxxx123456:11

どう対応すればいいの?

マネジメントコンソール の AWS Batchの「ジョブ」の画面から、 ジョブキューに「stg-v3-aaaa」を指定、 作成時刻でソートしますと、該当日時のジョブの履歴は既に削除されているようで、確認できませんでした。

また、出力されるログストリームの数が多く、タイムスタンプからは該当のログが簡単には見つかりませんでした。

Job ID: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx

おおまかなタイムスタンプと Job IDを手掛かりに、CloudTrailのイベント履歴を検索しました。

イベントソース:ecs.amazonaws.com

でフィルターし、ECSでのイベント履歴を検索したところ、該当Job IDの記録が見つかりました。

ECSのtaskArnの末尾から、CloudWatch Logsの該当ログストリーム名が特定できました。

CloudTrail-Event ID: 11111111-xxxx-xxxx-xxxx-111111111111

https://ap-northeast-1.console.aws.amazon.com/cloudtrail/home?region=ap-northeast-1#/events/11111111-xxxx-xxxx-xxxx-111111111111

"name": "AWS_BATCH_JOB_ID",
"value": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
"taskArn": "arn:aws:ecs:ap-northeast-1:[account_id]:task/stg-v5-bbbb_Batch_22222222-xxxx-xxxx-xxxx-222222222222/abcdefghij1234567890xxxxxxxxxxxx"

ロググループ: /aws/batch/job

ログストリーム名: xxxx123456/default/abcdefghij1234567890xxxxxxxxxxxx

ログの内容を確認すると、エラーが起きて、ジョブが終了していたようです。ログの内容から、エラーの原因についてご確認ください。

Error: [500] Unexpected exception has occurred
...